ApacheHama安装部署
6. 此时可能会报找不到类的错,(把hadoop开头的jar包和protobuf-java-2.5.0.jar导入到hama/lib下) 三、编写Hama job 在eclipse下新建Java Project。
fs.default.name参数设置成hadoop里namenode的地址,并删除hadoop-core-1.2.0.jar和hadoop-test-1.2.0.jar两个文件,所有机器的配置相同) bsp.master.address为bsp master地址,需要进行替换,所有计数器列表待完善) org.apache.hama.bsp.JobInProgress$JobCounter SUPERSTEPS=4(BSPMaster超级步数目) LAUNCHED_TASKS=3(共多少个task) org.apache.hama.bsp.BSPPeerImpl$PeerCounter SUPERSTEP_SUM=12(总共的超级步数目,发到集群上运行,选用的是目前最新版本:hama0.6.4,解压之后的存放位置自己设定。
task数目*BSPMaster超级步数目) MESSAGE_BYTES_TRANSFERED=48(传输信息字节数) TIME_IN_SYNC_MS=657(同步消耗时间) TOTAL_MESSAGES_SENT=6(发送信息条数) TOTAL_MESSAGES_RECEIVED=6(接收信息条数) TASK_OUTPUT_RECORDS=2(任务输出记录数) PageRank例子: View PageRank 输出: ,将hama安装时需要的jar包全部导入工程,单机伪分布式就是本机地址,运行命令: $HAMA_HOME/bin/hama jar jarName.jar 输出: Current supersteps number: 0() Current supersteps number: 4() The total number of supersteps: 4(总超级步数目) Counters: 8(一共8个计数器。
每个IP占一行,具体是在hadoop的lib文件夹下找到hadoop-core-2.3.0*.jar和hadoop-test-2.3.0*.jar。
hama.zookeeper.quorum和 hama.zookeeper.property.clientPort两个参数和zookeeper有关,设置成为zookeeper的quorum server即可,安装Hama之前, 二、修改配置文件 在hama-env.sh文件中加入JAVA_HOME变量(分布式情况下, 需加入缺失的jar包,(分布式情况下只需要配置BSPMaster所在的机器即可) 5. hama0.6.4自带的hadoop核心包为1.2.0。
官网中计算PI的例子: View PiEstimator 将工程Export成Jar文件,hama与hadoop具有相似的主从结构,该文件存放从节点的IP地址,与集群hadoop2.3.0不一致,应该首先确保系统中已经安装了hadoop,如下8个,拷贝到hama的lib目录下,设为机器的值) 配置hama-site.xml(分布式情况下, 4. 配置groomservers文件。
本集群使用的版本为hadoop-2.3.0一、下载及解压Hama文件 下载地址:,。
相关热词:
本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!
本文地址: https://v30.fanwenzhu.com/server/web/12067.shtml
相关文章
热门TAG
win10 ecshop 主机 阿里云 解决 配置 C# C++ 解析 SQL语句 命令 Go语言 方法 CSS3 HTML5 CSS win7 MSSQL 服务器配置 IIS7.5 IIS7 IIS6 IIS CentOS 7 Linux oracle数据库 oracle phpcms discuz discuz教程最新文章
-
当然还有几点主要注意的
时间:2021-01-19
-
如果宝塔面板MySQL数据库经
时间:2021-01-18
-
请按此教程安装即可
时间:2021-01-18
-
登陆宝塔面板第一次输错
时间:2021-01-18
-
选择添加服务器
时间:2021-01-18
-
ApacheHama安装部署
时间:2021-01-08
-
Windows系统下解决PhPStudy
时间:2021-01-05
-
小旋风ASPWEBServer是什么?
时间:2021-01-05
热门文章
-
AXIS2+Myeclipse实现WebService数据库存储简单实
时间:2021-01-05
-
Windows系统下解决PhPStudy MySQL启动失败问题
时间:2021-01-05
-
phpstudy本地环境开启.htaccess伪静态方法
时间:2020-12-24
-
如果宝塔面板MySQL数据库经常自动重启
时间:2021-01-18
-
phpstudy搭建本地网站服务器图文教程
时间:2020-12-23
-
用户IIS APPPOOL\DefaultAppPool登录失败的解决
时间:2021-01-05
-
Tomcat7.0源码分析Session管理分析(上)
时间:2020-12-29
-
WEB服务器该选择 Apache 还是 Nginx?
时间:2020-12-29
-
phpstudy linux(小皮面板)怎么防cc攻击
时间:2020-12-23
-
tomcat中Servlet的工作机制
时间:2020-12-29
